Berdasarkan Peraturan Pemerintah Nomor 37 tahun 1950, Universitas Gadjah Mada (UGM) membuka Fakultas Sastra Pedagogik dan Filsafat. Pada 19 September 1950, fakultas tersebut dipecah menjadi tiga fakultas yaitu: Sastra dan Kebudayaan, Pedagogik, Umum dan Filsafat. Pada kurun waktu Desember 1950 sampai September 1958 di Yogyakarta dibuka kursus-kursus B I dan B II untuk beberapa jurusan. Pertengahan tahun 1960, Fakultas Pedagogik UGM membuka Bagian Didaktik yang di antara jurusannya adalah Jurusan Ilmu Alam.

Pada tahun 1961, terjadi integrasi kursus B I dan B II ke dalam bagian Didaktik Fakultas Pedagogik. Karena adanya perbedaan kurikulum, Bagian Didaktik menjadi Bagian Didaktik I, sedangkan bekas kursus B I dan B II menjadi Bagian Didaktik II. Dalam perkembangan Selanjutnya, berdasarkan keputusan Menteri P dan K Nomor 92 tahun 1962, berdiri lembaga pendidikan dengan nama Institut Pendidikan Guru (IPG). Sementara itu, FIP, FPD, dan FKIP masih merupakan fakultas pada Universitas Gadjah Mada, di bawah pengawasan Departemen PTIP. Untuk mengatasi dualisme ini, keluarlah Keputusan Presiden RI Nomor 1 tahun 1963, tanggal 3 Januari 1963 yang menetapkan penyatuan FKIP dan IPG menjadi Institut Keguruan dan Ilmu Pendidikan (IKIP).

Sebagai tindak lanjut Keputusan Presiden, terbitlah SK Menteri PTIP Nomor 55 Tahun 1963, tanggal 22 Mei 1963 tentang berdirinya IKIP Jakarta, IKIP Bandung, IKIP Yogyakarta, dan IKIP Malang sejak 1 Mei 1963. IKIP Yogyakarta diresmikan berdirinya oleh Menteri PTIP pada tanggal 21 Mei 1964. Tanggal tersebut ditetapkan sebagai Dies Natalis IKIP Yogyakarta.

Dalam masa-masa awal kelahirannya, 21 September 1964 s.d. 1 September 1965, IKIP Yogyakarta dipimpin oleh suatu presidium. Berdasarkan Keputusan Rektor Nomor 05 Tahun 1965, struktur oranisasi IKIP Yogyakarta menyebutkan adanya Fakultas Keguruan Ilmu Eksata (FKIE) dengan jurusan-jurusannya: Ilmu Hayat, Ilmu Alam, Ilmu Kimia dan Ilmu Pasti.

Berdasarkan Keputusan Presiden RI Nomor 54 Tahun 1982, tanggal 7 September 1982 terjadi perubahan susunan organisasi IKIP Yogyakarta, di antaranya perubahan nama FKIE menjadi Fakultas Pendidikan Matematika dan Ilmu Pengetahuan Alam (FPMIPA). Selanjutnya Menteri Pendidikan dan Kebudayaan melalui Keputusan Nomor 0554/0/1983 tanggal 8 Desember 1983 menetapkan secara rinci jenis dan jumlah jurusan pada fakultas-fakultas di lingkungan IKIP Yogyakarta. FPMIPA memiliki empat jurusan, yaitu: Pendidikan Matematika, Pendidikan Fisika, Pendidikan Kimia dan Pendidikan Biologi. Direktur Jenderal Pendidikan Tinggi Departemen Pendidikan dan Kebudayaan dengan Nomor 31/DIKTI/Kep/1984 tanggal 17 Mei 1984 menetapkan secara rinci jenis dan jumlah program studi pada setiap jurusan pada fakultas di lingkungan IKIP Yogyakarta. Jurusan Pendidikan Fisika menyelenggarakan program studi Pendidikan Fisika.

Pada tahun 1997, Jurusan Pendidikan Fisika mulai membuka program studi baru untuk tahun ajaran 1997/1998, yaitu Program Studi Fisika dengan berdasarkan pada Surat Dirjen Dikti No. 1259/DT/T/97, tanggal 29 Mei 1997 tentang ijin pembukaan program studi non-kependidikan di lingkungan FPMIPA IKIP Yogyakarta. Selanjutnya dengan Keputusan Presiden Republik Indonesia Nomor 93 Tahun 1999 tanggal 31 Agustus 1999 tentang perubahan Status dari IKIP Yogyakarta menjadi Universitas Negeri Yogyakarta (UNY), FPMIPA berubah menjadi Fakultas Matematika dan Ilmu Pengetahuan Alam (FMIPA) dan Jurusan Pendidikan Fisika secara resmi memiliki program studi Fisika.